深層学習の仕組み, 勾配降下 | Chapter 2 Deep Learning
https://youtu.be/0AX3KSKjyog?si=jog1lwDPKRH5GUt1
initでランダムの重みとバイアスで開始する
どれくらいモデルが悪いか(仕事が下手か)を調べる
大きいほど悪い
入力;すべての重みとバイアス
出力;1つの値
これは正解との差分値の平均
重み、バイアス郡の中でどこがもっともだめか(極小値)かを調べたい
だめなところの変化が一番重要
だめなところを変化させると
差分により相対的な重要度がわかる
勾配ベクトルによって急な方向が下り坂の方向
下り坂に少し行って、またどちらの方向にいけばいいか計算する
どこを変化させるとコスト関数を最小化させることができるかを計算